Sinh ra ở Roseau, Dominica, West Indies vào năm 1908, bà là con gái của Francis Byam Berkeley Shand và Elfreda (nhũ danh Nicholls), và được rửa tội Phyllis Byam.[1] Gia đình định cư của cha bà đã được thành lập từ lâu ở Roseau. Có nguồn gốc từ Tây Ấn từ thế kỷ 17, Phyllis sau đó tự mô tả mình là "một người Tây Ấn còn lại sau hơn 300 năm, mặc dù khuôn mặt không có nhiều nét giống của tôi".[2]

Tổ tiên đầu tiên của bà ở Tây Ấn là Trung tướng William Byam, một sĩ quan Hoàng gia, năm 1644 đã bảo vệ Bridgwater chống lại một lực lượng nghị viện. Bị giam cầm trong Tháp Luân Đôn, ông được phép di cư đến Tây Ấn. Sau khi vua Charles II phục hồi năm 1660, ông được cấp di sản ở Antigua.[3]